Accurate representation and localization of relevant objects is important for robots to perform tasks. Building a generic representation that can be used across different environments and tasks is not easy, as the relevant objects vary depending on the environment and the task. Furthermore, another challenge arises in agro-food environments due to their complexity, and high levels of clutter and occlusions. In this paper, we present a method to build generic representations in highly occluded agro-food environments using multi-view perception and 3D multi-object tracking. Our representation is built upon a detection algorithm that generates a partial point cloud for each detected object. The detected objects are then passed to a 3D multi-object tracking algorithm that creates and updates the representation over time. The whole process is performed at a rate of 10 Hz. We evaluated the accuracy of the representation on a real-world agro-food environment, where it was able to successfully represent and locate tomatoes in tomato plants despite a high level of occlusion. We were able to estimate the total count of tomatoes with a maximum error of 5.08% and to track tomatoes with a tracking accuracy up to 71.47%. Additionally, we showed that an evaluation using tracking metrics gives more insight in the errors in localizing and representing the fruits.

由于温室环境中的较高变化和遮挡，机器人对番茄植物的视觉重建非常具有挑战性。 Active-Vision的范式通过推理先前获取的信息并系统地计划相机观点来收集有关植物的新信息，从而有助于克服这些挑战。但是，现有的主动视觉算法不能在有针对性的感知目标（例如叶子节点的3D重建）上表现良好，因为它们不能区分需要重建的植物零件和植物的其余部分。在本文中，我们提出了一种注意力驱动的主动视觉算法，该算法仅根据任务进行任务，仅考虑相关的植物零件。在模拟环境中评估了所提出的方法，该方法是针对番茄植物3D重建的任务，即各种关注水平，即整个植物，主茎和叶子节点。与预定义和随机方法相比，我们的方法将3D重建的准确性提高了9.7％和5.3％的整个植物的准确性，主茎的准确性为14.2％和7.9％，叶子源分别为25.9％和17.3％。前3个观点。同样，与预定义和随机方法相比，我们的方法重建了整个植物的80％和主茎，在1个较少的角度和80％的叶子节点中重建了3个较小的观点。我们还证明，尽管植物模型发生了变化，遮挡量，候选观点的数量和重建决议，但注意力驱动的NBV规划师仍有效地工作。通过在活动视觉上添加注意力机制，可以有效地重建整个植物和靶向植物部分。我们得出的结论是，有必要的注意机制对于显着提高复杂农业食品环境中的感知质量是必要的。

卷积神经网络（CNN）的泛化性能受训练图像的数量，质量和品种的影响。必须注释训练图像，这是耗时和昂贵的。我们工作的目标是减少培训CNN所需的注释图像的数量，同时保持其性能。我们假设通过确保该组训练图像包含大部分难以分类的图像，可以更快地提高CNN的性能。我们的研究目的是使用活动学习方法测试这个假设，可以自动选择难以分类的图像。我们开发了一种基于掩模区域的CNN（掩模R-CNN）的主动学习方法，并命名此方法Maskal。 Maskal涉及掩模R-CNN的迭代训练，之后培训的模型用于选择一组未标记的图像，该模型是不确定的。然后将所选择的图像注释并用于恢复掩模R-CNN，并且重复这一点用于许多采样迭代。在我们的研究中，掩模R-CNN培训由由12个采样迭代选择的2500个硬花甘蓝图像，从训练组14,000个硬花甘蓝图像的训练组中选择了12个采样迭代。对于所有采样迭代，Maskal比随机采样显着更好。此外，在抽样900图像之后，屏蔽具有相同的性能，随着随机抽样在2300张图像之后。与在整个培训集（14,000张图片）上培训的面具R-CNN模型相比，Maskal达到其性能的93.9％，其培训数据的17.9％。随机抽样占其性能的81.9％，占其培训数据的16.4％。我们得出结论，通过使用屏马，可以减少注释工作对于在西兰花的数据集上训练掩模R-CNN。我们的软件可在https://github.com/pieterblok/maskal上找到。

随着牛奶厂的畜群大小继续增加，奶牛的自动健康监测是兴趣的。通过分析奶牛的步态，通常检测到乳制品奶牛中普遍存在的健康障碍。可以使用姿势估计模型在视频中追踪牛的步态，因为模型学会自动本地化图像和视频的解剖标志。大多数动物姿势估计模型是静态的，也就是说，视频是通过帧进行处理的帧，并且不使用任何时间信息。在这项工作中，用于动物姿态估计的静态深度学习模型扩展到包括来自过去框架的信息的时间模型。我们比较了静态和时间姿势估计模型的性能。这些数据由来自通过室外通道的30个不同乳制品牛的视频（30 fps）提取的459个三个连续帧。随着农场环境易于闭塞，我们通过向视频添加人工闭塞来测试静态和时间模型的稳健性。实验表明，在非闭塞数据中，静态和时间方法都达到了正确关键点的百分比（PCKH @ 0.2）99％。在遮挡数据上，我们的时间方法优于静态，高达32.9％，表明使用时间数据有利于易于闭塞的环境中的姿势估计，例如乳制品农场。通过在包含未知奶牛的数据（培训集中不存在的奶牛）上测试了时间模型的泛化能力。结果表明，普通PCKH@0.2在已知的奶牛上为93.8％，在未知的奶牛上为87.6％，表明该模型能够概括为新奶牛，并且它们可以很容易地微调到新牛群。最后，我们展示了更难的任务，例如遮挡和未知的奶牛，更深层次的建筑更有益。

事实证明，分子机器学习（ML）对于解决各种分子问题很重要，包括预测蛋白质 - 药物相互作用和血液脑性渗透性。自最近以来，已经为分子ML实施了所谓的图神经网络（GNN），显示出与基于描述符的方法相当或出色的性能。尽管存在各种工具和包装用于将GNN用于分子ML，但新的GNN包装，名为Molgraph（https://github.com/akensert/molgraph），在这项工作中开发了，以创建GNNS与TensorFlow高度兼容的动力和KERAS应用程序编程接口（API）。由于Molgraph专门关注分子ML，因此实施了化学模块，以适应分子图的产生$ \ unicode {x2014} $，然后可以将其输入到GNNS中以用于分子ML。为了验证GNN，它们针对分子数据集以及三个色谱保留时间数据集进行了基准测试。这些基准测试的结果表明，GNN按预期进行。此外，GNN被证明可用于分子识别和改善色谱保留数据的可解释性。

The abundance of dark matter (DM) subhalos orbiting a host galaxy is a generic prediction of the cosmological framework, and is a promising way to constrain the nature of DM. In this paper, we investigate the use of machine learning-based tools to quantify the magnitude of phase-space perturbations caused by the passage of DM subhalos. A simple binary classifier and an anomaly detection model are proposed to estimate if stars or star particles close to DM subhalos are statistically detectable in simulations. The simulated datasets are three Milky Way-like galaxies and nine synthetic Gaia DR2 surveys derived from these. Firstly, we find that the anomaly detection algorithm, trained on a simulated galaxy with full 6D kinematic observables and applied on another galaxy, is nontrivially sensitive to the DM subhalo population. On the other hand, the classification-based approach is not sufficiently sensitive due to the extremely low statistics of signal stars for supervised training. Finally, the sensitivity of both algorithms in the Gaia-like surveys is negligible. The enormous size of the Gaia dataset motivates the further development of scalable and accurate data analysis methods that could be used to select potential regions of interest for DM searches to ultimately constrain the Milky Way's subhalo mass function, as well as simulations where to study the sensitivity of such methods under different signal hypotheses.

可解释的人工智能（XAI）是人工智能（AI）的子领域，这是AI研究的最前沿。在XAI特征归因方法中以特征重要性的形式产生解释。对现有特征归因方法的限制是对干预后果缺乏解释。尽管突出显示对某种预测的贡献，但没有解决特征与干预后果之间的影响。本文的目的是介绍一个新的框架，可以使用图表表示更深入了解特征与功能交互，以提高黑盒机器学习（ML）模型的可解释性并提供信息。

机器学习和深度学习方法对医学的计算机辅助预测成为必需的，在乳房X光检查领域也具有越来越多的应用。通常，这些算法训练，针对特定任务，例如，病变的分类或乳房X乳线图的病理学状态的预测。为了获得患者的综合视图，随后整合或组合所有针对同一任务培训的模型。在这项工作中，我们提出了一种管道方法，我们首先培训一组个人，任务特定的模型，随后调查其融合，与标准模型合并策略相反。我们使用混合患者模型的深度学习模型融合模型预测和高级功能，以在患者水平上构建更强的预测因子。为此，我们提出了一种多分支深度学习模型，其跨不同任务和乳房X光检查有效地融合了功能，以获得全面的患者级预测。我们在公共乳房X线摄影数据，即DDSM及其策划版本CBIS-DDSM上培训并评估我们的全部管道，并报告AUC评分为0.962，以预测任何病变和0.791的存在，以预测患者水平对恶性病变的存在。总体而言，与标准模型合并相比，我们的融合方法将显着提高AUC得分高达0.04。此外，通过提供与放射功能相关的特定于任务的模型结果，提供了与放射性特征相关的任务特定模型结果，我们的管道旨在密切支持放射科学家的阅读工作流程。

尽管近期因因果推断领域的进展，迄今为止没有关于从观察数据的收集治疗效应估算的方法。对临床实践的结果是，当缺乏随机试验的结果时，没有指导在真实情景中似乎有效的指导。本文提出了一种务实的方法，以获得从观察性研究的治疗效果的初步但稳健地估算，为前线临床医生提供对其治疗策略的信心程度。我们的研究设计适用于一个公开问题，估算Covid-19密集护理患者的拳击机动的治疗效果。